Việc kinh doanh ở Algérie của Dunant đã bị thiệt hại, một phần do việc hiến thân vào các lý tưởng nhân đạo của ông. Tháng 4 năm 1867, việc phá sản của hãng tài chính Crédit Genevois dẫn tới một vụ scandal liên lụy tới Dunant. Ông buộc phải tuyên bố phá sản và bị Tòa án Thương mại Genève xét xử ngày 17.8.1868 vì lừa dối trong các vụ phá sản. Do có đầu tư vào hãng tài chính Crédit Genevois, gia đình ông cùng nhiều người bạn cũng bị ảnh hưởng bởi việc phá sản này. Sự phản đối kịch liệt của xã hội Genève, một thành phố mọc rễ sâu trong truyền thống thần học Calvin, cũng yêu cầu ông phải tự tách ra khỏi Ủy ban quốc tế. Ngày 25.8.1867, ông từ chức thư ký và ngày 8.9 cùng năm, ông hoàn toàn ra khỏi Ủy ban. Moynier, người trở thành chủ tịch Ủy ban vào năm 1864, đã đóng vai chính trong việc trục xuất ông.

Tháng 2 năm 1868, mẹ của Dunant từ trần. Cuối năm này, ông cũng bị trục xuất khỏi YMCA. Tháng 3 năm 1867, ông rời thành phố quê hương Genève và cho tới cuối đời đã không hề trở lại. Trong các năm sau, Moynier dường như đã dùng thế lực của mình để cố ngăn chặn không cho Dunant nhận được sự ủng hộ và sự giúp đỡ của các bạn bè. Ví dụ, giải huy chương vàng của Sciences Morales tại Hội chợ thế giới Paris đã không được trao cho Dunant như dự kiến ban đầu, mà trao cho cả Moynier, Dufour và Dunant, nên tiền thưởng được trao toàn bộ cho Ủy ban. Đề nghị của Napoléon III là trả một nửa món nợ của Dunant, nếu các bạn của ông đồng ý trả nửa món nợ kia cũng bị Moynier phá.

Dunant di chuyển tới Paris, nơi ông sống trong điều kiện nghèo nàn. Tuy nhiên ông vẫn theo đuổi các lý tưởng và kế hoạch nhân đạo của mình. Trong cuộc chiến tranh Pháp-Phổ (1870-1871), ông lập ra "Hội Cứu tế chung" (Allgemeine Fürsorgegesellschaft) và ngay sau đó là "Liên minh chung vì Trật tự và Văn minh" (Allgemeine Allianz für Ordnung und Zivilisation). Ông biện hộ cho các cuộc thương thuyết giải trừ quân bị và cho việc lập lên một tòa án quốc tế để làm trung gian hòa giải các xung đột quốc tế. Sau đó ông đề xướng việc thành lập một thư viện thế giới, một ý tưởng có tiếng vang trong các dự án sau này như Tổ chức Giáo dục, Khoa học và Văn hóa Liên Hiệp Quốc (UNESCO).

Trong sự tiếp tục theo đuổi các lý tưởng của mình, ông đã từ chối địa vị và thu nhập cá nhân, rơi vào tình trạng nợ ngập đầu và bị các giới quen biết xa lánh. Dù được bổ nhiệm làm hội viên danh dự của các hội Chữ thập đỏ quốc gia của Áo, Hà Lan, Thụy Điển, Phổ và Tây Ban Nha, ông hầu như bị quên lãng trong các bài diễn văn chính thức của Phong trào Chữ thập đỏ, ngay cả khi phong trào này lan nhanh tới các nước mới. Ông sống trong sự nghèo khổ, di chuyển tới nhiều nơi khác nhau từ năm 1874 tới năm 1886, trong đó có Stuttgart, Roma, Corfu, Basel và Karlsruhe. Tại Stuttgart ông gặp sinh viên Rudolf Müller của Đại học Tübingen và trở nên bạn thân thiết. Năm 1881, cùng với các bạn ở Stuttgart, ông tới ngôi làng nhỏ Heiden của Thụy Sĩ lần đầu. Năm 1887 khi sống tại Luân Đôn, ông bắt đầu nhận vài trợ giúp tài chính hàng tháng từ các người trong gia đình ở xa. Điều này làm cho ông sống dễ chịu hơn, và ông trở lại làng Heiden vào tháng 7 cùng năm. Ông sống quãng đời còn lại tại đây, và sau ngày 30.4.1892 ông sống trong một bệnh viện và nhà dưỡng lão do bác sĩ Dr. Hermann Altherr lãnh đạo.

Tại Heiden, ông gặp giáo viên trẻ Wilhelm Sonderegger và vợ là Susanna; họ khuyến khích ông ghi lại các kinh nghiệm trong cuộc sống của mình. Vợ của Sonderegger đã lập một chi nhánh Chữ thập đỏ ở Heiden và năm 1890 Dunant trở thành chủ tịch danh dự của chi nhánh này. Với Sonderegger, Dunant hy vọng đẩy các lý tưởng của mình xa hơn, trong đó có việc tái bản quyển sách của ông. Tuy nhiên, tình bạn của họ sau đó bị căng thẳng do các cáo buộc vô lý của Dunant là Sonderegger đã âm mưu cách này hay cách khác với Moynier ở Genève để chống lại ông. Sonderegger từ trần năm 1904 mới 42 tuổi. Mặc dù quan hệ căng thẳng giữa họ, Dunant đã rất xúc động về cái chết không ngờ này. Năm 1935, con của Sonderegger và Susanna là René đã xuất bản bộ sưu tập các thư của Dunant gửi cho cha mình.